目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面 ...

　　本实例主要通过抓取慕课网的课程信息来展示scrapy框架抓取数据的过程。 　1、抓取网站情况介绍 　　抓取网站：http://www.imooc.com/course/list 　　抓取内 ...

　　一、介绍 　　　　本例子用scrapy-splash爬取梅花网（http://www.meihua.info/a/list/today）的资讯信息，输入给定关键字抓取微信资讯信息。 　　　　给 ...

　　一、介绍 　　　　本例子用scrapy-splash抓取一点资讯网站给定关键字抓取咨询信息。 　　　　给定关键字：打通；融合；电视 　　　　抓取信息内如下： 　　　　　　1、资讯标题 　 ...

　　在scrapy中创建项目以后，在settings文件中有这样的一条默认开启的语句： 　　 　　观察代码可以发现，默认为True，就是要遵守robots.txt 的规则，那么 ...